# -*- coding: utf-8 -*-
"""
Created on Wed Oct 17 18:44:21 2012

@author: Vinicio Gomez
@date: 17 octubre 2012
@description: 
    El programa determina las palabras repetidas en "words.txt" escritas con el formato
        van.b
        yong.b
        abbey.f
        abbie.f
    Luego del punto hay un codigo que indica el tipo de palabra que es. En 
    "palabras.txt" se almacena unicamente una vez cada palabra. Se almacena segun
    la primera vez que se encontro en el orden del texto, de arriba hacia abajo.
"""
delete=0                                        #contador de eliminaciones
f = open("words.txt","r")                       #abrir el archivo, modo lectura
words=[]                                        #lista con palabras
g = open("palabras.txt","a")                  #archivo para almacenar
while (True):                                   
    line=f.readline()                           #leer una linea del archivo
    if not line: break                          #detener cuando se terminaron las lineas
    try:
        words.index(str(line).split('.')[0])    #buscar la palabra en la lista
        delete=delete+1                         #contador de palabras eliminadas aumenta
    except:
        words.append(str(line).split('.')[0])   #la palabra no esta en la lista, se agrega
        print line                              #muestra lo agregado
        g.write(line)                           #escribe en el archivo la palabra agregada
g.close()                                       #cerrar archivo
print "Datos eliminados: ",delete               #mostrar cantidad de palabras eliminadas